Понятия со словосочетанием «взаимная информация»
Связанные понятия
Логистическая регрессия или логит-регрессия (англ. logit model) — это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события путём подгонки данных к логистической кривой.
Линейно-квадратичный регулятор (англ. Linear quadratic regulator, LQR) — в теории управления один из видов оптимальных регуляторов, использующий квадратичный функционал качества. Задача, в которой динамическая система описывается линейными дифференциальными уравнениями, а показатель качества представляет собой квадратичный функционал, называется задачей линейно-квадратичного управления. Широкое распространение получили линейно-квадратичные регуляторы (LQR) и линейно-квадратичные гауссовы регуляторы...
Скалярное ранжирование — подход к решению многокритериальных задач принятия решений, когда множество показателей качества (критериев оптимальности) сводятся в один с помощью функции скаляризации — целевой функции задачи принятия решения.
Теория оценивания — раздел математической статистики, решающий задачи оценивания непосредственно не наблюдаемых параметров сигналов или объектов наблюдения на основе наблюдаемых данных. Для решения задач оценивания применяется параметрический и непараметрический подход. Параметрический подход используется, когда известна математическая модель...
Автокорреляция — статистическая взаимосвязь между последовательностями величин одного ряда, взятыми со сдвигом, например, для случайного процесса — со сдвигом по времени.
Вне́шне несвя́занные уравне́ния (англ. Seemingly Unrelated Regressions (SUR)) — система эконометрических уравнений, каждое из которых является самостоятельным уравнением со своей зависимой и объясняющими экзогенными переменными. Модель предложена Зельнером в 1968 году. Важной особенностью данных уравнений является то, что несмотря на кажущуюся несвязанность уравнений их случайные ошибки предполагаются коррелированными между собой.
Гауссовский процесс назван так в честь Карла Фридриха Гаусса, поскольку в его основе лежит понятие гауссовского распределения (нормального распределения). Гауссовский процесс может рассматриваться как бесконечномерное обобщение многомерных нормальных распределений. Эти процессы применяются в статистическом моделировании; в частности используются свойства нормальности. Например, если случайный процесс моделируется как гауссовский, то распределения различных производных величин, такие как среднее значение...
Гетероскедастичность (англ. heteroscedasticity) — понятие, используемое в прикладной статистике (чаще всего — в эконометрике), означающее неоднородность наблюдений, выражающуюся в неодинаковой (непостоянной) дисперсии случайной ошибки регрессионной (эконометрической) модели. Гетероскедастичность противоположна гомоскедастичности, означающей однородность наблюдений, то есть постоянство дисперсии случайных ошибок модели.
Гомоскедастичность (англ. homoscedasticity) — однородная вариативность значений наблюдений, выражающаяся в относительной стабильности, гомогенности дисперсии случайной ошибки регрессионной модели. Явление, противоположное гетероскедастичности. Является обязательным предусловием применения метода наименьших квадратов, который может быть использован только для гомоскедастичных наблюдений.
Модель упорядоченного выбора (упорядоченная регрессия, англ. ordered choice) — применяемая в эконометрике модель с упорядоченной (с ранжированными значениями) дискретной зависимой переменной, в качестве которой могут выступать, например, оценки чего-либо по пятибалльной шкале, рейтинги компаний и т. д. В рамках данной модели предполагается, что количество значений зависимой переменной конечно.
Обобщённый ме́тод моме́нтов (ОММ; англ. GMM — Generalized Method of Moments) — метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был предложен Хансеном в 1982 году. В отличие от классического метода моментов количество ограничений может быть больше количества оцениваемых параметров.
Экзогенность — буквально «внешнее происхождение» — свойство факторов (и важнейшее требование, предъявляемое к ним) эконометрических моделей, заключающееся в предопределённости, заданности их значений, независимости от функционирования моделируемой системы (явления, процесса). Экзогенность противоположна эндогенности. Значения экзогенных переменных определяется вне модели, и на их основе в рамках рассматриваемой модели определяются значения эндогенных переменных.
Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов...
Функциона́льная зави́симость — бинарное отношение между множествами атрибутов данного отношения и является, по сути, связью типа «один ко многим». Её использование обусловлено тем, что они позволяют формально и строго решить многие проблемы.
Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).
Подробнее: Предельное правдоподобие
Смещение вследствие пропущенных переменных (англ. Omitted variable bias) — явление в регрессионном анализе, связанное с получением, смещённых и несостоятельных оценок регрессионных коэффициентов вследствие некорректной спецификации модели, а именно невключения в оцениваемую модель независимых переменных, оказывающих причинно-следственное влияние на зависимую переменную, или невозможности включить в неё некую ненаблюдаемую независимую переменную.
Риск (теория принятия решений) — математическое ожидание функции потерь вследствие принятия решения. Является количественной оценкой последствий принятого решения. Минимизация риска является главным критерием оптимальности в теории принятия решений.
Стохастическая аппроксимация — рекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптации.
В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.
Целевая функция — вещественная или целочисленная функция нескольких переменных, подлежащая оптимизации (минимизации или максимизации) в целях решения некоторой оптимизационной задачи. Термин используется в математическом программировании, исследовании операций, линейном программировании, теории статистических решений и других областях математики в первую очередь прикладного характера, хотя целью оптимизации может быть и решение собственно математической задачи. Помимо целевой функции в задаче оптимизации...
Вычисле́ние — математическое преобразование, позволяющее преобразовывать входящий поток информации в выходной, с отличной от первого структурой. Если смотреть с точки зрения теории информации, вычисление — это получение из входных данных нового знания.
Стандартные ошибки в форме Уайта или состоятельные при гетероскедастичности стандартные ошибки (HC s.e. — Heteroskedasticity consistent standard errors) — применяемая в эконометрике оценка ковариационной матрицы (в частности и стандартных ошибок) МНК-оценок параметров линейной модели регрессии, которая состоятельна при гетероскедастичности случайных ошибок модели, альтернативная стандартной (классической) оценке, которая в данном случае является несостоятельной.
Многокритериальная оптимизация, или программирование (англ. Multi-objective optimization) — это процесс одновременной оптимизации двух или более конфликтующих целевых функций в заданной области определения.
Статистический параметр или параметр совокупности — это величина, которая индексирует семейство распределений вероятностей. Его можно расценивать как числовую характеристику совокупности или статистической модели.
Обратная вероятность, по-разному интерпретированная, не была доминирующим подходом к статистике вплоть до развития частотного подхода в начале 20 века Р.А.Фишер, Ежи Нейман и Эгон Пирсон. После разработки частотного подхода, термины частотная и Байесовская развивались при противопоставлении этих подходов, и получили широкое распространение в 1950-х годах.
Вариационная статистика — исчисление числовых и функциональных характеристик эмпирических распределений. Если в какой-либо группе объектов показатель изучаемого признака изменяется (варьирует) от объекта к объекту, то каждому значению такого показателя х1 …, хn (n — общее количество объектов) ставят в соответствие одну и ту же вероятность, равную 1/n. Такое формально введенное «распределение вероятностей», называется эмпирическим, можно истолковать как распределение вероятностей некоторой искусственно...
Лине́йность по пара́метрам — свойство экономических моделей, позволяющее рассматривать их с эконометрической точки зрения (с точки зрения оценки параметров) как линейные модели.
Статистический критерий — строгое математическое правило, по которому принимается или отвергается та или иная статистическая гипотеза с известным уровнем значимости. Построение критерия представляет собой выбор подходящей функции от результатов наблюдений (ряда эмпирически полученных значений признака), которая служит для выявления меры расхождения между эмпирическими значениями и гипотетическими.
Суммирование по Эвальду — метод вычисления энергии взаимодействия периодических систем (например, кристаллов), в частности, энергии электростатического взаимодействия.
В статистике, машинном обучении и теории информации снижение размерности — это преобразование данных, состоящее в уменьшении числа переменных путём получения главных переменных. Преобразование может быть разделено на отбор признаков и выделение признаков.
Подробнее: Снижение размерности
Статистика — измеримая числовая функция от выборки, не зависящая от неизвестных параметров распределения элементов выборки.
В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.
Подробнее: Оценка апостериорного максимума
Роба́стное управле́ние — совокупность методов теории управления, целью которых является синтез такого регулятора, который обеспечивал бы хорошее качество управления (к примеру, запасы устойчивости), если объект управления отличается от расчётного или его математическая модель неизвестна. Таким образом, робастность означает малое изменение выхода замкнутой системы управления при малом изменении параметров объекта управления. Системы, обладающие свойством робастности, называются робастными (грубыми...
Фа́кторный анализ — многомерный метод, применяемый для изучения взаимосвязей между значениями переменных. Предполагается, что известные переменные зависят от меньшего количества неизвестных переменных и случайной ошибки.
Коэффициент Байеса — это байесовская альтернатива проверке статистических гипотез. Байесовское сравнение моделей — это метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.
В обучении машин вероятностный классификатор — это классификатор, который способен предсказывать, если на входе заданы наблюдения, распределение вероятностей над множеством классов, а не только вывод наиболее подходящего класса, к которому наблюдения принадлежат. Вероятностные классификаторы обеспечивают классификацию, которая может быть полезна сама по себе или когда классификаторы собираются в ансамбли.
Стандартные ошибки в форме Ньюи-Уеста или состоятельные при гетероскедастичности и автокорреляции стандартные ошибки (HAC s.e. — Heteroskedasticity and Autocorrelation consistent standard errors) — применяемая в эконометрике оценка ковариационной матрицы МНК-оценок (в частности и стандартных ошибок) параметров линейной модели регрессии, альтернативная стандартной (классической) оценке, которая состоятельна при гетероскедастичности и автокорреляции случайных ошибок модели (в отличие от несостоятельной...
Модель бинарного выбора — применяемая в эконометрике модель зависимости бинарной переменной (принимающей всего два значения — 0 и 1) от совокупности факторов. Построение обычной линейной регрессии для таких переменных теоретически некорректно, так как условное математическое ожидание таких переменных равно вероятности того, что зависимая переменная примет значение 1, а линейная регрессия допускает и отрицательные значения и значения выше 1. Поэтому обычно используются некоторые интегральные функции...
Отношение предпочтения называется
слабо аддитивным (англ. weakly additive), если выполнено условие...
Ковариа́ция (корреляционный момент, ковариационный момент) — в теории вероятностей и математической статистике мера линейной зависимости двух случайных величин.
В теории оптимизации условия Каруша — Куна — Таккера (англ. Karush — Kuhn — Tucker conditions, KKT) — необходимые условия решения задачи нелинейного программирования. Чтобы решение было оптимальным, должны быть выполнены некоторые условия регулярности. Метод является обобщением метода множителей Лагранжа. В отличие от него, ограничения, накладываемые на переменные, представляют собой не уравнения, а неравенства.
Оптимальны́й приём сигна́лов — область радиотехники, в которой обработка принимаемых сигналов осуществляется на основе методов математической статистики.
Кванти́ли распределе́ния хи-квадра́т — числовые характеристики, широко используемые в задачах математической статистики таких как построение доверительных интервалов, проверка статистических гипотез и непараметрическое оценивание.
Поря́дковые стати́стики в математической статистике - это упорядоченная по неубыванию выборка одинаково распределённых независимых случайных величин и её элементы, занимающие строго определенное место в ранжированной совокупности.
Подробнее: Порядковая статистика
Избыточность — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).
Статистические оценки — это статистики, которые используются для оценивания неизвестных параметров распределений случайной величины.
Интервальная оце́нка — это пара чисел в математической статистике, оцениваемых на основе наблюдений, между которыми предположительно находится оцениваемый параметр.
Линейно-квадратичное гауссовское управление (англ. Linear quadratic Gaussian control, LQG control) — набор методов и математического аппарата теории управления для синтеза систем управления с отрицательной обратной связью для линейных систем с аддитивным гауссовским шумом. Синтез проводится путём минимизации заданного квадратичного функционала.